El texto que adjunto ha sido sacado de la ayuda del MSDN del Visual Studio. Espero que te ayude a resolver tu problema.
Insertar comillas en una cadena de texto
Algunas veces aparecen comillas (" ") en las cadena de texto.
Dijo, "Te mereces un regalito".
Como las cadenas asignadas a una variable o a una propiedad están entre comillas, debe insertar un par adicional de comillas por cada par que desee presentar en una cadena de texto. Visual Basic interpreta dos comillas seguidas como una comilla del texto.
Por ejemplo, para crear la cadena anterior, utilice el código siguiente:
Text1.Text = "Dijo, ""Te mereces un regalito"." "
Para conseguir el mismo efecto, puede usar el carácter ASCII (34) en lugar de las comillas:
Text1.Text = "Dijo, " & Chr(34) + "Te mereces un regalito". & Chr(34)
----- En definitiva, solo has de poner 2 comillas dobles juntas en el sitio en el que quieras que aparezca una sola comilla doble -----
Un saludo.